我们正在map-reduce上进行POC以计算我们应用程序的模块使用情况。应用程序在位于单独盒子上的J2EE容器上运行，hadoop安装在单独的盒子上，我们需要将日志文件从应用程序容器盒子移动到hadoop盒子。下面提到的是一些需要帮助/建议的查询。有什么工具/框架可以将日志文件从多个位置移动到HDFS？什么是最佳实践？如何运行移动文件的作业？移动到HDFS应该是cron作业还是文件大小触发器？ 最佳答案 您需要ApacheFlume。Flume是一种流行的标准工具，用于将日志文件移动到HadoopHDFS中。它可以作为cron作业

错误信息:java.io.IOException:Typemismatchinvaluefrommap:expectedorg.apache.hadoop.io.Text,recievedorg.apache.hadoop.io.LongWritableatorg.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:918)atorg.apache.hadoop.mapred.MapTask$OldOutputCollector.collect(MapTask.java:512)atmain.java.co

我正在寻找如何安装hortonworks(hdp)集群的说明，使用ambari作为静默安装。我在ambari-server的手册中看到有这样做的选项，但它使用了默认值。amabri-serversetup-s(安装程序静默运行。接受所有默认提示值。)我该怎么做？我该如何更改默认值？我需要它的原因是为了我们的夜间构建。 最佳答案 这不是一个非常优雅的解决方案，但我使用expect通过生成ambari-server设置并自动将预配置值放入提示中来自动安装。 关于hadoop-如何？使用amb

我正在使用clouderaCDH4.4。当我运行flumecmd时-"bin/flume-ngagent-nagentA-fconf/MultipleFlumes.properties-Dflume.root.logger=INFO,console"我遇到了一个错误:[cloudera@localhostFlume]$bin/flume-ngagent-nagentA-fconf/MultipleFlumes.properties-Dflume.root.logger=INFO,consoleWarning:Noconfigurationdirectoryset!Use--confto

我有2个表:表1描述:countint表2描述:count_valint我从上面的表中获取字段计数，count_val并插入到另一个审计表(table3)中。表3描述:countintcount_valint我正在尝试将这2个表的记录计数记录到每个作业运行的审计表中。感谢您的任何建议。谢谢! 最佳答案 如果您只需要聚合(如求和)，解决方案是使用UNIONINSERTINTOTABLEauditSELECTSUM(count),SUM(count_val)FROM(SELECTt1.count,0ascount_valFROMtabl

我正在尝试在GoogleComputeEngine上设置Hadoop集群，我一直在关注theseinstructions.在我运行之前，一切似乎都运行良好:./compute_cluster_for_hadoop.pysetup使用我创建的项目ID和存储桶名称。该脚本似乎无法访问某些内容并因403而崩溃；这是带有错误消息的输出的尾部:Uploading...kages/ca-certificates-java_20121112+nmu2_all.deb:14.57KB/14.57KBUploading...duce/tmp/deb_packages/libnspr4_4.9.2-1_a

我一直在安装Hadoop。我遵循了Udemy类(class)中的一些说明，并在我的笔记本电脑上以伪分布式模式安装了Hadoop。这相当简单。之后，我开始考虑是否可以在桌面计算机上设置Hadoop。于是出去买了一个空机箱，放入一个64位8核AMD处理器，以及一个50GBSSD硬盘和4个便宜的500GB硬盘。我在SSD驱动器上安装了Ubuntu14.04，并将虚拟机放在其他驱动器上。我设想将我的SSD用作主设备，并将我的4个硬盘驱动器用作节点。同样，一切都生活在同一个案例中。不幸的是，我到处搜索，但找不到任何描述以这种方式设置Hadoop的教程、指南、书籍等。似乎大多数我发现的Hadoop

我是hadoop的新手，正在关注这个link在Fedora20中安装它。这篇文章中有一个命令:runuserhdfs-s/bin/bash/bin/bash-c"hadoopfs-mkdir/user/"在这部分命令中，我们在HDFS中创建一个目录:"hadoopfs-mkdir/user/"但是我无法理解上面命令的这一部分的用途/含义是什么:runuserhdfs-s/bin/bash/bin/bash请告诉我这个命令的确切用途/含义是什么:runuserhdfs-s/bin/bash/bin/bash 最佳答案 这有点令人困惑，

我在台式计算机上安装了HDInsight以学习使用Hive。当我重新启动计算机并登录我的个人资料时，一切都变慢了。我发现Hadoop正在运行Java.exe的多个实例。有没有办法限制Hadoop为此使用的内存量？ 最佳答案 Hadoop运行多个Java实例的原因是因为Hadoop有各种守护进程，如namenode、secondarynamenode、datanode、jobtracker、tasktracker执行各种任务，每个守护进程都是一个Java进程。我不确定HDInsight，但在ApacheHadoop中，您可以通过在通常

我是Hadoop的新手，有一个问题，例如，我们可以使用任何命令来检查表格格式的名称节点元数据吗？比如如果我想检查namenode在FsImage中保存数据的具体格式。如果我在调查中遗漏了一些特定的命令，请帮助我。感谢和问候 最佳答案 Hadoopofflineimageviewer会做的。语法:hdfsoiv-ipath/to/fsimage/file-odestination/file通过使用它，我们可以将名称节点日志转换为文本和xml文件。 关于hadoop-我们可以有任何命令来检查